package com.billdowney.util.network.spider;

import java.io.IOException;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

import com.billdowney.util.CommonUtil;

/**
 * @Description: Jsoup爬虫工具包
 * @author: 唐路钧
 * @date: 2018年12月20日 下午3:11:43
 */
public class SpiderJsoupUtil {

	/**
	 * 爬取地址
	 */
	private String url;
	/**
	 * 默认超时时间，10*1000=10000毫秒
	 */
	private int timeout = 10000;
	/**
	 * 获取到的网页文件
	 */
	private Document document = null;

	public SpiderJsoupUtil(String url) {
		this.url = url;
	}

	public SpiderJsoupUtil(String url, int timeout) {
		this.url = url;
		this.timeout = timeout;
	}

	/**
	 * @Description: 获取网页文件
	 * @return 获取到的Document对象
	 * @throws IOException
	 * @author: 唐路钧
	 * @date: 2018年12月20日 下午3:45:23
	 */
	public Document getDocument() throws IOException {
		if(CommonUtil.isEmpty(document)) {
			document = Jsoup.connect(url).timeout(timeout).get();
		}
		return document;
	}

}
